Choosing the values of hyper-parameters in sparse Bayesian learning (SBL) can significantly impact performance. However, the hyper-parameters are normally tuned manually, which is often a difficult task. Most recently, effective automatic hyper-parameter tuning was achieved by using an empirical auto-tuner. In this work, we address the issue of hyper-parameter auto-tuning using neural network (NN)-based learning. Inspired by the empirical auto-tuner, we design and learn a NN-based auto-tuner, and show that considerable improvement in convergence rate and recovery performance can be achieved.

在现实世界中，尽管对该领域的兴趣激增，但在稀疏回报协同环境下进行的加强学习仍然具有挑战性。先前的尝试表明，内在的奖励可以减轻稀疏引起的问题。在本文中，我们提出了一种新颖的固有奖励，该奖励受人类学习的启发，因为人类通过将当前的观察结果与历史知识进行比较来评估好奇心。具体而言，我们训练一个自我监督的预测模型，并保存一组模型参数的快照，而不会产生加法培训成本。然后，我们采用核规范来评估不同快照的预测之间的时间不一致，这可以进一步部署为内在的奖励。此外，提出了一种变异的加权机制，以自适应方式将权重分配给不同的快照。我们证明了所提出的方法在各种基准环境中的功效。结果表明，与其他基于奖励的方法相比，我们的方法可以提供压倒性的最先进性能，而不会产生额外的培训成本并保持更高的噪声耐受性。我们的代码将公开发布以提高可重复性。

外部奖励的稀疏性对加强学习（RL）构成了严重的挑战。当前，对好奇心已经做出了许多努力，这些努力可以为有效探索提供代表性的内在奖励。但是，挑战尚未得到解决。在本文中，我们提出了一种名为Dymecu的RL的好奇心，它代表了基于动态记忆的好奇心。受到人类好奇心和信息理论的启发，Dymecu由动态记忆和双重在线学习者组成。好奇心引起的话，如果记忆的信息无法处理当前状态，并且双重学习者之间的信息差距可以作为对代理的内在奖励进行表述，然后可以将这些状态信息巩固到动态内存中。与以前的好奇方法相比，dymecu可以更好地模仿人类的好奇心与动态记忆，并且可以根据双重学习者的引导范式动态地生长内存模块。在包括DeepMind Control Suite和Atari Suite在内的多个基准测试中，进行了大规模的经验实验，结果表明，Dymecu在有或没有外部奖励的情况下优于基于好奇心的方法。我们将发布代码以增强可重复性。

发现深神经网络（DNN）容易受到对抗噪声的影响。它们通常被对抗样本误导，以做出错误的预测。为了减轻本文，我们从信息理论的角度研究了目标模型的输出与输入对抗样本之间的依赖性，并提出了一种对抗性防御方法。具体而言，我们首先通过估计输入和自然模式之间的相互信息（MI）（称为天然MI）以及分别在输出和输入的对抗模式之间的依赖性（称为对抗MI）。我们发现，与W.R.T.相比，对抗样品通常具有更大的对抗性MI和较小的天然MI。天然样品。在这一观察结果的推动下，我们建议通过在训练过程中最大化自然MI并最大程度地减少对抗性MI来增强对抗性的鲁棒性。这样，目标模型应更加关注包含客观语义的自然模式。经验评估表明，我们的方法可以有效地提高针对多次攻击的对抗精度。

使用和部署不同本地模型的个性化联合学习（PFL），由于其在处理佛罗里达州客户的统计异质性方面的成功，近年来引起了人们的关注。但是，对不同PFL方法的标准化评估和系统分析仍然是一个挑战。首先，高度多样化的数据集，FL仿真设置和PFL实现可以防止对PFL方法的快速和公平比较。其次，在各种实践场景中，PFL方法的有效性和鲁棒性不足，例如新客户的概括和资源有限的客户参与。最后，当前的PFL文献在采用的评估和消融方案中有所不同。为了应对这些挑战，我们提出了第一个全面的PFL基准PFL基准，以促进快速，可重现，标准化和彻底的PFL评估。所提出的基准测试包含具有统一数据分区和现实异质设置的不同应用程序域中的10多个数据集；一个模块化且易于扩展的PFL代码库，具有20多个竞争性PFL基线实现；以及在集装环境下进行的系统评估，以概括，公平，系统开销和收敛性。我们强调了最先进的PFL方法的好处和潜力，并希望PFL板台实现了进一步的PFL研究和广泛的应用，否则由于缺乏专用的基准，这将是困难的。该代码在https://github.com/alibaba/federatedscope/tree/master/master/benchmark/pfl-bench上发布。

为了调查现实世界中联邦学习的异质性，我们将经典的联合学习概括为联合的异性任务学习，这强调了参与者在数据分布和学习任务方面的联盟学习中的不一致性。我们还提出了B-FHTL，这是一种联合的杂项任务学习基准，该基准包括模拟数据集，FL协议和统一的评估机制。 B-FHTL数据集包含三个精心设计的联合学习任务，异质性增加。每个任务都使用不同的非IID数据和学习任务模拟客户端。为了确保不同的FL算法之间的公平比较，B-FHTL通过提供高级API来避免隐私泄漏，在整个FL协议中构建，并预设跨越不同的学习任务的最常见评估指标，例如回归，分类，文本，文本，文本此外，我们还比较了B-FHTL中联合多任务学习，联合个性化和联合元学习领域的FL算法，并突出了联盟异质任务学习的异质性和困难的影响。我们的基准测试，包括联合数据集，协议，评估机制和初步实验，可在https://github.com/alibaba/federatedscope/tree/master/master/master/benchmark/b-fhtl上开放。

尽管现有联合学习平台（FL）平台已取得了显着的进展，以提供开发基础架构，但这些平台可能无法很好地应对各种异质性带来的挑战，包括参与者本地数据，资源，行为和学习目标中的异质性。为了填补这一空白，在本文中，我们提出了一个名为FederatedScope的新型FL平台，该平台采用事件驱动的架构为用户提供极大的灵活性，以独立描述不同参与者的行为。这样的设计使用户可以轻松地描述参与者具有各种本地培训过程，学习目标和后端，并通过同步或异步培训策略将其协调为FL课程。 FederatedScope为易于使用和灵活的平台提供了丰富类型的插入操作和组件，以有效地进行进一步开发，并且我们实施了几个重要组件，以更好地帮助用户进行隐私保护，攻击模拟和自动调整。我们已经在https://github.com/alibaba/federatedscope上发布了FederatedScope，以在各种情况下促进联邦学习的学术研究和工业部署。

最近，自主驾驶社会上有许多进展，吸引了学术界和工业的很多关注。然而，现有的作品主要专注于汽车，自动驾驶卡车算法和模型仍然需要额外的开发。在本文中，我们介绍了智能自动驾驶卡车系统。我们所呈现的系统由三个主要组成部分组成，1）一个现实的交通仿真模块，用于在测试场景中产生现实的交通流量，2）设计和评估了在现实世界部署中模仿实际卡车响应的高保真卡车模型，3 ）具有基于学习的决策算法和多模轨迹策划仪的智能计划模块，考虑到卡车的约束，道路斜率变化和周围的交通流量。我们为每个组分单独提供定量评估，以证明每个部件的保真度和性能。我们还将我们的建议系统部署在真正的卡车上，并进行真实的世界实验，表明我们的系统能力缓解了SIM-TO-REAL差距。我们的代码可以在https://github.com/inceptioresearch/iits提供

In this paper, we study the problem of knowledge-intensive text-to-SQL, in which domain knowledge is necessary to parse expert questions into SQL queries over domain-specific tables. We formalize this scenario by building a new Chinese benchmark KnowSQL consisting of domain-specific questions covering various domains. We then address this problem by presenting formulaic knowledge, rather than by annotating additional data examples. More concretely, we construct a formulaic knowledge bank as a domain knowledge base and propose a framework (ReGrouP) to leverage this formulaic knowledge during parsing. Experiments using ReGrouP demonstrate a significant 28.2% improvement overall on KnowSQL.

Weakly-supervised object localization aims to indicate the category as well as the scope of an object in an image given only the image-level labels. Most of the existing works are based on Class Activation Mapping (CAM) and endeavor to enlarge the discriminative area inside the activation map to perceive the whole object, yet ignore the co-occurrence confounder of the object and context (e.g., fish and water), which makes the model inspection hard to distinguish object boundaries. Besides, the use of CAM also brings a dilemma problem that the classification and localization always suffer from a performance gap and can not reach their highest accuracy simultaneously. In this paper, we propose a casual knowledge distillation method, dubbed KD-CI-CAM, to address these two under-explored issues in one go. More specifically, we tackle the co-occurrence context confounder problem via causal intervention (CI), which explores the causalities among image features, contexts, and categories to eliminate the biased object-context entanglement in the class activation maps. Based on the de-biased object feature, we additionally propose a multi-teacher causal distillation framework to balance the absorption of classification knowledge and localization knowledge during model training. Extensive experiments on several benchmarks demonstrate the effectiveness of KD-CI-CAM in learning clear object boundaries from confounding contexts and addressing the dilemma problem between classification and localization performance.